| 1. Identificação | ||||||||||
| Tipo de Referência | Tese ou Dissertação (Thesis) | |||||||||
| Site | mtc-m21c.sid.inpe.br | |||||||||
| Código do Detentor | isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S | |||||||||
| Identificador | 8JMKD3MGP3W34R/428J8UE | |||||||||
| Repositório | sid.inpe.br/mtc-m21c/2020/03.30.16.14 | |||||||||
| Última Atualização | 2020:11.09.12.29.12 (UTC) simone | |||||||||
| Repositório de Metadados | sid.inpe.br/mtc-m21c/2020/03.30.16.14.10 | |||||||||
| Última Atualização dos Metadados | 2020:11.09.13.04.34 (UTC) simone | |||||||||
| Chave Secundária | INPE-18302-TDI-2978 | |||||||||
| Chave de Citação | Velame:2020:ObDeCa | |||||||||
| Título | Object detection from captive balloon imagery using deep learning  | |||||||||
| Título Alternativo | Detecção de objetos em imagens de balão cativo utilizando deep learning | |||||||||
| Curso | SER-SRE-SESPG-INPE-MCTIC-GOV-BR | |||||||||
| Ano | 2020 | |||||||||
| Data | 2020-04-02 | |||||||||
| Data de Acesso | 04 maio 2024 | |||||||||
| Tipo da Tese | Dissertação (Mestrado em Sensoriamento Remoto) | |||||||||
| Tipo Secundário | TDI | |||||||||
| Número de Páginas | 99 | |||||||||
| Número de Arquivos | 1 | |||||||||
| Tamanho | 40974 KiB | |||||||||
| 2. Contextualização | ||||||||||
| Autor | Velame, Victória Maria Gomes | |||||||||
| Banca | Körting, Thales Sehn (presidente) Mura, José Claudio (orientador) Bins, Leonardo Sant'Anna (orientador) Sêcco, Ney Rafael | |||||||||
| Endereço de e-Mail | velame.victoria@gmail.com | |||||||||
| Universidade | Instituto Nacional de Pesquisas Espaciais (INPE) | |||||||||
| Cidade | São José dos Campos | |||||||||
| Histórico (UTC) | 2020-03-30 16:14:43 :: victoria.velame@inpe.br -> administrator :: 2020-04-23 19:28:00 :: administrator -> pubtc@inpe.br :: 2020-04-23 19:28:54 :: pubtc@inpe.br -> victoria.velame@inpe.br :: 2020-05-04 16:14:39 :: victoria.velame@inpe.br -> pubtc@inpe.br :: 2020-05-05 14:01:50 :: pubtc@inpe.br -> victoria.velame@inpe.br :: 2020-05-15 00:30:53 :: victoria.velame@inpe.br -> administrator :: 2020-06-19 22:20:03 :: administrator -> simone :: 2020-06-19 22:29:39 :: simone :: -> 2020 2020-06-19 22:35:57 :: simone -> administrator :: 2020 2020-06-22 14:05:48 :: administrator -> simone :: 2020 2020-11-09 13:04:34 :: simone -> :: 2020 | |||||||||
| 3. Conteúdo e estrutura | ||||||||||
| É a matriz ou uma cópia? | é a matriz | |||||||||
| Estágio do Conteúdo | concluido | |||||||||
| Transferível | 1 | |||||||||
| Palavras-Chave | object detection deep learning convolutional neural network remote sensing captive balloons detecção de objetos aprendizado profundo rede neural convolucional sensoriamento semoto balões cativos | |||||||||
| Resumo | The combination of remote sensing and computer vision technologies have been used to monitor large areas. In order to ensure their local security. This monitoring requires high temporal and spatial resolution sensors. Captive balloons with infrared and visible sensors, like Altave system, can perform a long-term day-night surveillance with viable cost in comparison with other aerial vehicles. Altave captive balloon system provides security of large areas by continuously monitoring people and vehicles, which is exhaustive for humans due to the large amount of data. To provide a more efficient and less arduous monitoring, this work developed a technology based on DL (Deep Learning), more specifically Faster R-CNN (Region-based Convolutional Neural Network - R-CNN), capable of detecting people and vehicles in images from captive balloons infrared and visible sensors. The advantage of CNN object detectors is their ability to generalize, which make them more efficient to deal with some captive balloon image features, such as objects on different points of view, positions and scales. This work used videos provided by Altave Company (from their captive balloon system) to manually build two databases containing about 700 images each, one for the infrared and the other for the visible data. Since training a large CNN from scratch requires a large database and high computational power, two networks were fine-tuned from a Faster R-CNN, pre-trained on RGB (red, green, blue) images. The accuracy, mAP and AR metrics reached on the test datasets indicates the network high performance. The accuracy was 87.1% for the infrared network and 86.1% for the visible. These high accuracies demonstrated that a Faster R-CNN pre-trained only in ordinary RGB images can be fine-tuned to work satisfactorily on 3-band RGB visible remote sensing images and even on 1-band infrared images, as long as they are properly converted for 3-band images by repeating the infrared band on the three channels. The networks satisfactorily detected people and vehicle on images from Altave captive balloon system. They could detect multiple objects in an image with a variety of angles, positions, types (for vehicles), scales, and even with some noise and overlap. They also presented some mistaken detections caused by splitting parts of one object into two objects or merging two objects from the same class in one large object. These types of mistakes are not a relevant problem for surveillance because it is much more important to detect the objects than to locate or count them. RESUMO: A combinação de tecnologias de sensoriamento remoto com visão computacional tem sido utilizada para monitorar grandes áreas, de modo a garantir a segurança local. Esse monitoramento requer sensores de alta resolução temporal e espacial. Os balões cativos com sensores visível e infravermelhos, como os da Altave, são capazes de realizar vigilância diurna e noturna a longo prazo, com custo viável comparado com outros veículos aéreos. O sistema de balões cativos da Altave fornece segurança para grandes áreas por meio do monitorando contínuo de pessoas e veículos, função que é exaustiva para seres humanos devido à grande quantidade de dados. Com o objetivo de proporcionar um monitoramento mais eficiente e menos árduo, neste trabalho foi desenvolvido uma tecnologia baseada em Aprendizado Profundo, mais especificamente Faster R-CNN (Region-based Convolutional Neural Network - R-CNN), capaz de detectar pessoas e veículos em imagens de sensores infravermelho e visível de balões cativos. A vantagem dos detectores de objetos baseados em CNN é sua capacidade de generalização, tornando-os mais eficientes para algumas características de imagem de balões cativos, como objetos em diferentes visadas, posições e escalas. Este trabalho utilizou os vídeos fornecidos pela empresa Altave (do sistema de balão cativo) para criar, manualmente, dois bancos de dados com cerca de 700 imagens, um para o infravermelho e a outro para o visível. Como o treinamento de uma CNN de grande complexidade desde o início requer um banco de dados grande e alto poder computacional, duas redes foram ajustadas a partir de uma rede Faster R-CNN pré-treinada em imagens RGB (vermelha, verde, azul). A acurácia, métricas mAP e AR alcançadas nos conjuntos de dados de teste comprovam o alto desempenho das redes treinadas. A acurácia do sistema foi de 87,1% para a rede infravermelha e de 86,1% para a óptica. Essas altas acurácias demonstraram que uma Faster R-CNN pré-treinada apenas em imagens RGB comuns, pode ser ajustada para funcionar satisfatoriamente em imagens de sensoriamento remoto visível RGB de 3-bandas e até mesmo em imagens infravermelhas de 1-banda, desde que sejam adequadamente convertidas para imagens 3-bandas através da repetição desta banda nos três canais. As redes construídas foram capazes de detectar satisfatoriamente pessoas e veículos em imagens do sistema de balões cativos da Altave, sendo capaz de detectar múltiplos objetos em vários ângulos, posições, tipos (no caso de veículos), escalas e até mesmo com algum ruído e sobreposição. Eles também apresentaram algumas detecções erradas causadas pela divisão de partes de um objeto em dois objetos ou pela fusão de dois objetos da mesma classe em um objeto maior. Esse tipo de erro não é relevante para o monitoramento com vigilância devido ao fato de ser mais importante detectar objetos do que localizá-los ou contá-los. | |||||||||
| Área | SRE | |||||||||
| Arranjo | urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > SER > Object detection from... | |||||||||
| Conteúdo da Pasta doc | acessar | |||||||||
| Conteúdo da Pasta source |
| |||||||||
| Conteúdo da Pasta agreement |
| |||||||||
| 4. Condições de acesso e uso | ||||||||||
| URL dos dados | http://urlib.net/ibi/8JMKD3MGP3W34R/428J8UE | |||||||||
| URL dos dados zipados | http://urlib.net/zip/8JMKD3MGP3W34R/428J8UE | |||||||||
| Idioma | en | |||||||||
| Arquivo Alvo | publicacao.pdf | |||||||||
| Grupo de Usuários | pubtc@inpe.br victoria.velame@inpe.br | |||||||||
| Visibilidade | shown | |||||||||
| Licença de Direitos Autorais | urlib.net/www/2012/11.12.15.19 | |||||||||
| Detentor dos Direitos | originalauthor yes | |||||||||
| Permissão de Leitura | allow from all | |||||||||
| Permissão de Atualização | não transferida | |||||||||
| 5. Fontes relacionadas | ||||||||||
| Repositório Espelho | urlib.net/www/2017/11.22.19.04.03 | |||||||||
| Unidades Imediatamente Superiores | 8JMKD3MGPCW/3F3NU5S | |||||||||
| Acervo Hospedeiro | urlib.net/www/2017/11.22.19.04 | |||||||||
| 6. Notas | ||||||||||
| Campos Vazios | academicdepartment affiliation archivingpolicy archivist callnumber contenttype copyholder creatorhistory descriptionlevel dissemination doi electronicmailaddress format group isbn issn label lineage mark nextedition notes number orcid parameterlist parentrepositories previousedition previouslowerunit progress readergroup resumeid schedulinginformation secondarydate secondarymark session shorttitle sponsor subject tertiarymark tertiarytype url versiontype | |||||||||